14wk: 이산형과 연속형의 통합

강의영상

youtube: https://youtube.com/playlist?list=PLQqh36zP38-wThZpnzJAP_aOtJzBl1Ij_

일반화된 밀도함수

- 라돈니코딤 정리는 꼭 르벡메져일 경우에만 성립하는 것이 아니다.

이산확률변수

- 예제1 – 베르누이 (with 카운팅메져)

아래와 같은 함수를 고려하자.

$$F_X(x)=\{\begin{array}{ll}0& x<0\\ \frac{1}{2}& 0\le x<1\\ 1& x\ge 1\end{array}$$

이제 $S=\{0,1\}$, $\mathcal{S}=\{\mathrm{\varnothing },\{0\},\{1\},\{1,2\}\}$로 구성된 measurable space $(S,\mathcal{S})$를 생각하자. 함수 ${\tilde{\mu }}_X:\mathcal{S}\to [0,1]$를 아래와 같이 정의하면

• ${\tilde{\mu }}_X(\mathrm{\varnothing })=0$
• ${\tilde{\mu }}_X(\{0\})=\frac{1}{2}$
• ${\tilde{\mu }}_X(\{1\})=\frac{1}{2}$
• ${\tilde{\mu }}_X(\{0,1\})=1$

함수 ${\tilde{\mu }}_X$는 $(S,\mathcal{S})$에서의 메져가 되며, 이것은 $F_X$에 대응하는 분포 ${\mu }_X$와 같은 역할을 한다. 이제 measurable space $(S,\mathcal{S})$에 대하여 아래와 같은 함수 $\mathrm{\#}:\mathcal{S}\to \mathbb{R}$을 고려하자.

• $\mathrm{\#}(\mathrm{\varnothing })=0$
• $\mathrm{\#}(\{0\})=1$
• $\mathrm{\#}(\{1\})=1$
• $\mathrm{\#}(\{0,1\})=2$

이때 함수 $\mathrm{\#}$은 $(S,\mathcal{S})$ 에서의 메져가 되며, 이러한 메져를 특별히 카운팅메져(counting measure) 라고 한다. 이제 아래의 함수 $f_X:S\to \mathbb{R}$를 고려하자.

• $f_X(0)=\frac{1}{2}$
• $f_X(1)=\frac{1}{2}$

함수 $f_X$는 카운팅메져 $\mathrm{\#}$에 대한 ${\tilde{\mu }}_X$의 라돈니코딤 도함수임을 보여라.

(해설)

1. ${\tilde{\mu }}_X$, $\mathrm{\#}$는 모두 $(S,\mathcal{S})$ 에서의 $\sigma$-finite 메져이다.
2. ${\tilde{\mu }}_X<<\mathrm{\#}$이 성립한다. 따라서 적당한 $\mathcal{S}-{\mathcal{R}}^{+}$ measurable function이 존재하여 라돈니코딤 도함수의 조건을 만족함을 알 수 있다.
3. 우리가 생각하는 후보는 $f_X$인데 이것이 만약에 (1) $\mathcal{S}-{\mathcal{R}}^{+}$ 가측함수이고 (2) 라돈니코딤 도함수의 조건¹을 만족한다면 $f_X$는 카운팅메져 $\mathrm{\#}$에 대한 $\mu$의 거의 유일한 (w.r.t. $\mathrm{\#}$) 밀도함수라고 주장할 수 있다.
4. $f_X$는 $\mathcal{S}\to {\mathcal{R}}^{+}$ 가측함수이다. (simple function)
5. $\mathrm{\forall }B\in \mathcal{S}:\mu (B)={\int }_B{f}_{X}d\mathrm{\#}=\sum _{x\in B}{f}_X(x)$ 를 만족한다.

¹ $\mathrm{\forall }B\in \mathcal{S}:\mu (B)={\int }_B{f}_{X}d\mathrm{\#}$

- 예제1에서 제안한 $f_X$의 경우 어떠한 의미에서는 밀도함수라고 해석할 수 있다.

1. 학부수준의 이해: 이산형확률변수는 확률질량함수를 가지며, 연속형확률변수는 확률밀도함수를 가진다.
2. 대학원수준의 이해: 이산형확률변수의 밀도함수는 $\mathrm{\#}$에 대한 라돈니코딤 도함수로 해석할 수 있으며, 연속형확률변수의 밀도함수는 $\lambda$에 대한 라돈니코딤 도함수로 해석할 수 있다.

- 찝찝한점1: 예제1에서는 왜 ${\mu }_X$ 대신에 ${\tilde{\mu }}_X$를 사용했을까?

사실 예제1에서의 ${\tilde{\mu }}_X$는 $F_X$에 대응하는 distribution ${\mu }_X$와 유사하지만 미세한 차이가 있음

${\mu }_X:\mathcal{R}\to [0,1]$

• ${\mu }_X(\mathrm{\varnothing })=0$
• ${\mu }_X(\{0\})=\frac{1}{2}$
• ${\mu }_X(\{1\})=\frac{1}{2}$
• ${\mu }_X(\{0,1\})=1$
• ${\mu }_X(B)=0$ , $B\in \mathcal{R}-\{0,1\}-\{0\}-\{1\}$

${\tilde{\mu }}_X:\mathcal{S}\to [0,1]$

• ${\tilde{\mu }}_X(\mathrm{\varnothing })=0$
• ${\tilde{\mu }}_X(\{0\})=\frac{1}{2}$
• ${\tilde{\mu }}_X(\{1\})=\frac{1}{2}$
• ${\tilde{\mu }}_X(\{0,1\})=1$

- 찝찝한점2: 예제1에서는 왜 $(\mathbb{R},\mathcal{R})$를 고려하지 않고 $(S,\mathcal{S})$를 고려하였을까?

이건 사실 ${\mu }_X$대신 ${\tilde{\mu }}_X$를 쓴 이유와 연관이 있다. ${\mu }_X$는 $\mathcal{R}$에서 정의되고 ${\tilde{\mu }}_X$는 $\mathcal{S}$에서 정의되는데 예제에서는 ${\mu }_X$대신 ${\tilde{\mu }}_X$를 썻기 때문에 자연스럽게 $(\mathbb{R},\mathcal{R})$ 대신에 $(S,\mathcal{S})$를 고려하게 되는 것

- 찝찝한점의 해결:

1. 라돈니코딤 도함수의 존재에 필요한 조건 중 하나는 라돈니코딤 도함수를 정의하는 두개의 메져² $\sigma$-finite measure이어야 한다는 것임.
2. ${\mu }_X,\lambda$ on $(\mathbb{R},\mathcal{R})$을 고려 $\Rightarrow$ ${\mu }_X,\lambda$ 은 모두 $(\mathbb{R},\mathcal{R})$에서 $\sigma$-finite 조건을 만족함.
3. ${\tilde{\mu }}_X,\mathrm{\#}$ on $(S,\mathcal{S})$을 고려 $\Rightarrow$ ${\tilde{\mu }}_X,\mathrm{\#}$ 은 모두 $(S,\mathcal{S})$에서 $\sigma$-finite 조건을 만족함.
4. ${\mu }_X,\mathrm{\#}$ on $(\mathbb{R},\mathcal{R})$을 고려 $\Rightarrow$ ${\mu }_X$ 는 $(\mathbb{R},\mathcal{R})$에서 $\sigma$-finite 하지만 $\mathrm{\#}$는 $(\mathbb{R},\mathcal{R})$에서 $\sigma$-finite 하지 않음.

² 분자, 분모에 들어가는 두개의 메져

따라서, $(\mathbb{R},\mathcal{R})$에서의 두 메져 ${\mu }_X,\lambda$를 고려하거나, $(S,\mathcal{S})$에서의 두 메져 ${\tilde{\mu }}_X,\mathrm{\#}$ 를 고려해야 라돈니코딤 도함수를 따져볼 수 있다.

모티브: 그런데 $(S,\mathcal{S})$ 말고 그냥 $(\mathbb{R},\mathcal{R})$에서 적당히 ${\mu }_X,\widetilde{\mathrm{\#}}$를 고려할 수는 없을까?

- 예제2 – 베르누이 (with 디렉메져)

아래와 같은 함수를 고려하자.

$$F_X(x)=\{\begin{array}{ll}0& x<0\\ \frac{1}{2}& 0\le x<1\\ 1& x\ge 1\end{array}$$

$F_X$에 대응하는 분포 ${\mu }_X:\mathcal{R}\to [0,1]$를 고려하자.

• ${\mu }_X(\mathrm{\varnothing })=0$
• ${\mu }_X(\{0\})=\frac{1}{2}$
• ${\mu }_X(\{1\})=\frac{1}{2}$
• ${\mu }_X(\{0,1\})=1$
• ${\mu }_X(B)=0$ , $B\in \mathcal{R}-\{0,1\}-\{0\}-\{1\}$

그리고 아래와 같은 메져를 고려하라. ${\mathrm{\#}}_X:\mathcal{R}\to \mathbb{N}$ 을 고려하자.

• ${\mathrm{\#}}_X(\mathrm{\varnothing })=0$
• ${\mathrm{\#}}_X(\{0\})=1$
• ${\mathrm{\#}}_X(\{1\})=1$
• ${\mathrm{\#}}_X(\{0,1\})=2$
• ${\mathrm{\#}}_X(B)=0$, $B\in \mathcal{R}-\{0,1\}-\{0\}-\{1\}$

이때 함수 ${\mathrm{\#}}_X:\mathcal{R}\to \mathbb{N}$ 는 $(\mathbb{R},\mathcal{R})$ 에서의 $\sigma$-finite 메져가 된다. 또한 ${\mu }_X<<{\mathrm{\#}}_X$ 가 성립한다.³ 이제 아래의 함수 $f_X:\mathbb{R}\to {\mathbb{R}}^{+}$를 고려하자.

³ 함수 ${\mathrm{\#}}_X$은 확률변수 $X$의 support 에서만 값이 정의되는 카운팅메져라고 생각할 수 있음

$$f_X(x)=\{\begin{array}{ll}\frac{1}{2}& x=0,1\\ 0& o.w.\end{array}$$

함수 $f_X$는 $\mathcal{R}-{\mathcal{R}}^{+}$ 가측함수이고 (simple function 이므로)

$$\mathrm{\forall }B\in \mathcal{R}:{\mu }_X(B)=\int fd{\mathrm{\#}}_X$$

를 만족한다. 따라서

$$f_X=\frac{d{\mu }_X}{d{\mathrm{\#}}_X}$$

이다. 즉 $f_X$는 ${\mathrm{\#}}_X$에 대한 ${\mu }_X$의 라돈니코딤 도함수로 해석할 수 있다.

- 정의 (디렉메져): 가측공간 $(\mathbb{R},\mathcal{R})$에서 디렉메져 ${\delta }_x$는

$$\mathrm{\forall }B\in \mathcal{R}:{\delta }_x(B)={\mathbb{1}}_B(x)=\mathbb{1}(x\in B)$$

로 정의되는 메져이다.

- 디랙메져의 표현법에 따르면 예제2의 경우 ${\mathrm{\#}}_X:={\delta }_0+{\delta }_1$ 로 표현할 수 있다. 여기에서 ${\delta }_x$는 $(\mathbb{R},\mathcal{R})$에서의 디랙메져이다.

- 꼭 베르누이와 같은 상황이 아니라도 임의의 이산확률변수 $X$에 대한 분포 ${\mu }_X$를 dominating하는 적절한 $\sigma$-finite한 메져 ${\mathrm{\#}}_X$를 $(\mathbb{R},\mathcal{R})$에서 정의할 수 있다. 예를들면 주사위예제의 경우

$${\mathrm{\#}}_X={\delta }_1+{\delta }_2+{\delta }_3+{\delta }_4+{\delta }_5+{\delta }_6$$

와 같은 방식으로 정의할 수 있다. 즉 임의의 이산확률변수 $X$에 대하여 아래를 만족하는 ${\mathrm{\#}}_X$를 항상 잡을 수 있다.

1. ${\mathrm{\#}}_X$ is $\sigma$-finite
2. ${\mu }_X<<{\mathrm{\#}}_X$

따라서 $\frac{d{\mu }_X}{d{\mathrm{\#}}_X}$는 언제나 잘 정의되며 이는 우리가 알고 있는 pmf의 정의와 일치한다.

- 결국 이산형 확률변수의 밀도함수를 설명하는 방법은 크게 3가지가 있는 셈이다.

1. 이산형확률변수는 밀도함수가 없다.
2. 이산형확률변수의 밀도함수는 $\frac{d}{d\mathrm{\#}}{\tilde{\mu }}_X$ 으로 정의할 수 있다.
3. 이산형확률변수의 밀도함수는 $\frac{d}{d{\mathrm{\#}}_X}{\mu }_X$ 으로 정의할 수 있다.

설명1,2,3은 각각의 장단점이 있다.

설명1: 라돈니코딤 도함수에 대한 이해가 없어도 된다는 점에서 장점이 있다. (그래서 학부수준에서는 가장 일반적으로 사용하는 설명)

설명2: 연속형은 르벡메져에 대한 라돈니코딤 도함수, 이산형은 카운팅메져에 대한 라돈니코딤 도함수로 구분하여 설명할 수 있다는 점에서는 클리어하지만 분포함수 ${\mu }_X$를 활용하지 못한다는 점과 그에 따라서 이산형 확률변수의 support $S$에 맞추어 가측공간 $(S,\mathcal{S})$를 재설정해야한다는 불편함이 있다. 이러한 방식으로 유도되는 베르누이 분포의 pmf는 아래와 같이 정의된다.

• $f_X(x)=p_X(x)=\{\begin{array}{ll}1-p& x=0\\ p& x=1\end{array}$

설명3: 연속형은 르벡메져에 대한 라돈니코딤 도함수, 이산형은 카운팅메져에 대한 라돈니코딤 도함수로 구분하여 설명할 수는 없으며 확률변수 $X$에 따라서 ${\mathrm{\#}}_X$를 그때 그때 정의해야하는 지저분함이 있다. 하지만 분포함수 ${\mu }_X$를 활용할 수 있고 가측공간 $(\mathbb{R},\mathcal{R})$를 그대로 활용한다는 장점이 있다. 이러한 방식으로 유도되는 베르누이분포의 pmf는 아래와 같이 정의된다.

• $f_X(x)=p_X(x)=\{\begin{array}{ll}1-p& x=0\\ p& x=1\\ 0& o.w.\end{array}$

여기에서 $p_X(x)$는 학부때 배우는 pmf

혼합형확률변수

- 예제1: 아래와 같은 분포함수 $F_X$를 고려하자.

$$F_X(x)=\{\begin{array}{ll}0& x<0\\ \frac{1}{2}& 0\le x<\frac{1}{2}\\ x& \frac{1}{2}\le x\le 1\\ 1& x>1\end{array}$$

이 분포함수는 동전을 던져 앞면이 나오면 $X=0$으로 결정하고 뒷면이 나오면 균등분포 $[0.5,1]$에서 확률변수 $X$를 생성하는 실험을 상상하면 쉽게 이해할 수 있다. 아래와 같은 함수

$$f_X(x)=\{\begin{array}{ll}\frac{1}{2}& x=0\\ 1& \frac{1}{2}\le x\le 1\\ 0& o.w.\end{array}$$

가 $F_X$의 밀도함수가 될 수 있음을 설명하라.

(해설)

1. $\nu :=\lambda +{\delta }_0$ 이라고 정의하자.
2. $\nu$는 $\sigma$-finite 하며 ${\mu }_X<<\nu$ 를 만족한다.
3. 함수 $f_X(x)$는 가측함수이며 (simple function) $\mathrm{\forall }B\in \mathcal{R}$에 대하여 아래를 만족한다.

$${\mu }_X(B)={\int }_B{f}_{X}d\nu ={\int }_B{f}_{X}d(\lambda +{\delta }_0)={\int }_B{f}_{X}d\lambda +{\int }_B{f}_{X}d{\delta }_0$$

$B=(-\mathrm{\infty },x]$와 같은 꼴에서만 성립함을 보이고 나머지는 $\pi$-$\lambda$ thm 쓰면 되죠?

위의 3에 대한 추가설명.

결국 임의의 $B=(-\mathrm{\infty },x]$와 같은 꼴에서 ${\mu }_X(B)={\int }_B{f}_{X}d\lambda +{\int }_B{f}_{X}d{\delta }_0$ 임을 보이면 된다.

편의상 아래와 같이 정의하자.

• $LHS={\mu }_X(B)$
• $RH{S}_1={\int }_B{f}_{X}d\lambda$
• $RH{S}_2={\int }_B{f}_{X}d{\delta }_0$

case1: $x<0$

• $LHS=F_X(x)=0$
• $RH{S}_1=0$
• $RH{S}_2=0$

case2: $x=0$

• $LHS=F_X(x)=\frac{1}{2}$
• $RH{S}_1={\int }_{-\mathrm{\infty }}^0{f}_X(x)dx=0$
• $RH{S}_2={\int }_{\{0\}}{f}_{X}d{\delta }_0=f_X(0){\delta }_0(\{0\})=\frac{1}{2}$

case3: $0<x<\frac{1}{2}$

• $LHS=F_X(x)=\frac{1}{2}$
• $RH{S}_1={\int }_{-\mathrm{\infty }}^0{f}_X(x)dx+{\int }_0^x{f}_X(x)dx=0$
• $RH{S}_2={\int }_{\{0\}}{f}_{X}d{\delta }_0=f_X(0){\delta }_0(\{0\})=\frac{1}{2}$

case4: $\frac{1}{2}<x<1$

• $LHS=F_X(x)=x$
• $RH{S}_1={\int }_{-\mathrm{\infty }}^{1/2}{f}_X(x)dx+{\int }_{1/2}^x{f}_X(x)dx={\int }_{1/2}^x{f}_X(x)dx={\int }_{1/2}^{x}dx=x-\frac{1}{2}$
• $RH{S}_2={\int }_{\{0\}}{f}_{X}d{\delta }_0=f_X(0){\delta }_0(\{0\})=\frac{1}{2}$

case5: $x>1$

• $LHS=F_X(x)=1$
• $RH{S}_1={\int }_{-\mathrm{\infty }}^{1/2}{f}_X(x)dx+{\int }_{1/2}^1{f}_X(x)dx={\int }_{1/2}^1{f}_X(x)dx={\int }_{1/2}^{1}dx=1-\frac{1}{2}$
• $RH{S}_2={\int }_{\{0\}}{f}_{X}d{\delta }_0=f_X(0){\delta }_0(\{0\})=\frac{1}{2}$

르벡분해정리

- Thm: 분포함수의 정의를 만족하는 임의의 $F$는 항상 아래와 같이 분해가능하다.

$$F=F_{ac}+F_{pp}+F_{sing}$$

여기에서 $F_{ac}$는 르벡메져에 대하여 절대연속이고 $F_{pp}$는 카운팅메져에 대하여 절대연속이다. 따라서 $F_{ac}$와 $F_{pp}$는 각각 르벡메져와 카운팅메져에 대응하는 밀도함수가 존재한다. $F_{sing}$는 칸토어분포와 같이 밀도함수가 존재하지 않는 경우이다.

여기에서 $ac$는 absolutely continuous 의 약자이고, $pp$ pure point 의 약자이며 $sing$은 singular continuous 약자이다.

- 의미: $F_{ac}$는 우리가 일반적으로 생각하는 singular하지 않은 연속함수를 상상하면 된다.⁴ $F_{pp}$는 완벽한 불연속이며 오직 jump를 통해서만 증가하는 함수라 생각하면 된다. 즉 우리가 익숙한 이산형확률변수의 cdf를 상상하면 된다.

⁴ 칸토어처럼 이상한 연속함수 말고 상식적인 수준의 연속함수라는 의미

- 이론: $F_{pp}$는 기껏해야 countable한 불연속점을 가진다. (jump 하는 point는 countable이라는 의미, 결국 이산형확률변수의 support는 countable이라는 의미)

- 이론: 분포함수 정의를 만족하는 임의의 $F$가 아래와 같다면

$$F=F_{ac}$$

$F$에 대응하는 연속형 확률변수 $X$가 존재하고 그에 대응하는 pdf가 존재한다.

- 이론: 분포함수 정의를 만족하는 임의의 $F$가 아래와 같다면

$$F=F_{pp}$$

$F$에 대응하는 이산형 확률변수 $X$가 존재하고 그에 대응하는 (일반화된) pdf 혹은 pmf가 존재한다.

- 이론: 분포함수 정의를 만족하는 임의의 $F$가 아래와 같다면

$$F=F_{ac}+F_{pp}$$

$F$에 대응하는 혼합형 확률변수 $X$가 존재하고 그에 대응하는 (일반화된) pdf가 존재한다.

기대값

- 예제1: $(\mathrm{\Omega },\mathcal{F},P)$를 확률공간이라고 하고 $\mathrm{\Omega }=\{H,T\}$, $\mathcal{F}=2^{\mathrm{\Omega }}$, $P(H)=P(T)=\frac{1}{2}$라고 하자.⁵ 확률변수 $X(H)=0$, $X(T)=1$를 정의하자. 이 확률변수의 기대값 $\mathbb{E}(X)$를 계산하여 보자.

⁵ 이렇게 정의해도 되는 이유는 카라테오도리 확장정리덕분

$X$	$X=0$	$X=1$
$P(X=x)$	$\frac{1}{2}$	$\frac{1}{2}$

(풀이)

아래와 같이 계산할 수 있다. (고등학교 수준)

$$\mathbb{E}(X)=0\times \frac{1}{2}+1\times \frac{1}{2}$$

이를 다른표현으로 써보면

1. $\mathbb{E}(X)=0\times (P\circ X^{-1})(\{0\})+1\times (P\circ X^{-1})(\{1\})$
2. $\mathbb{E}(X)=0\times {\mu }_X(\{0\})+1\times {\mu }_X(\{1\})$
3. $\mathbb{E}(X)=\sum _{x=0}^{1}x\times {\mu }_X(\{x\})$
4. $\mathbb{E}(X)={\int }_{\mathbb{R}}xd{\mu }_X:={\int }_{\mathbb{R}}xd{F}_X$
5. $\mathbb{E}(X)={\int }_{\mathbb{R}}x\frac{d{\mu }_X}{d{\mathrm{\#}}_X}d{\mathrm{\#}}_X$
6. $\mathbb{E}(X)={\int }_{\mathbb{R}}x{p}_X(x)d{\mathrm{\#}}_X$
7. $\mathbb{E}(X)={\int }_{\{0,1\}}x{p}_X(x)d{\mathrm{\#}}_X$
8. $\mathbb{E}(X)=\sum _{x=0}^{1}x{p}_X(x)$

또는 아래와 같이 볼 수 도 있다.

1. $\mathbb{E}(X)=0\times (P\circ X^{-1})(\{0\})+1\times (P\circ X^{-1})(\{1\})$
2. $\mathbb{E}(X)=X(H)\times P(\{H\})+X(T)\times P(\{T\})$
3. $\mathbb{E}(X)=\int XdP={\int }_{\mathrm{\Omega }}XdP={\int }_{\omega \in \mathrm{\Omega }}X(\omega )dP(\omega )$

위의 2 $\to$ 3에 대한 추가설명.

아래와 같은 함수 $f(x)$를 다시 고려하자.

$$f(x)=\{\begin{array}{ll}1& \mathbb{Q}\cap [0,1]:=A_1\\ 0& {\mathbb{Q}}^c\cap [0,1]:=A_2\end{array}$$

이 함수의 밑면적을 계산하기 위해서

• $\int fd\lambda =1\times \lambda (A_1)+0\times \lambda (A_2)$

와 같은 계산을 정의하였다. 이를 다시 평이한 언어로 표현하면

• 적분값 = $($ $x\in A_1$에서의 함수값 $f(x)$ $)$ $\times$ $($ $A_1$을 $\lambda$로 잰 길이$)$ + $($ $x\in A_2$에서의 함수값 $f(x)$$)$ $\times$ $($ $A_2$을 $\lambda$로 잰 길이$)$

와 같은 방식으로 서술할 수 있다. 이제 가측함수 $f$에 대응하는 가측함수 $X$와, 메져 $\lambda$에 대응하는 메져 $P$를 고려하자. 즉

1. $f:[0,1]\to \mathbb{R}$ 인 measurable function such that $f(x)=\{\begin{array}{ll}1& \mathbb{Q}\cap [0,1]:=A_1\\ 0& {\mathbb{Q}}^c\cap [0,1]:=A_2\end{array}$
2. $X:\mathrm{\Omega }\to \mathbb{R}$ 인 measurable function such that $X(\omega )=\{\begin{array}{ll}1& \omega \in \{H\}:=A_1\\ 0& \omega \in \{T\}:=A_2\end{array}$
3. $\lambda :\mathcal{R}\cap [0,1]\to [0,\mathrm{\infty }]$ 는 measure on $([0,1],\mathcal{R}\cap [0,1])$.
4. $P:\mathcal{F}\to [0,1]$ 는 measure on $(\mathrm{\Omega },\mathcal{F})$.

에서 1대신 2를, 3대신 4를 생각하자는 의미이다. 그렇다면

• 적분값 = $($ $x\in A_1$에서의 함수값 $f(x)$ $)$ $\times$ $($ $A_1$을 $\lambda$로 잰 길이$)$ + $($ $x\in A_2$에서의 함수값 $f(x)$$)$ $\times$ $($ $A_2$을 $\lambda$로 잰 길이$)$

은 아래와 같이 대응하여 바꿀 수 있고

• 적분값 = $($ $\omega \in A_1$에서의 함수값 $X(\omega )$ $)$ $\times$ $($ $A_1$을 $P$로 잰 길이$)$ + $($ $\omega \in A_2$에서의 함수값 $X(\omega )$$)$ $\times$ $($ $A_2$을 $P$로 잰 길이$)$

이것은 다시

• 적분값 = $X(H)\times P(\{H\})+X(T)\times P(\{T\})$

로 쓸 수 있다. 아래의 수식

• $\int fd\lambda =1\times \lambda (A_1)+0\times \lambda (A_2)$

에 대응하여 다시 상기하면

• $\int XdP=X(H)\times P(\{H\})+X(T)\times P(\{T\})$

로 쓸 수 있다.

- 예제2: $(\mathrm{\Omega },\mathcal{F},P)$를 확률공간이라고 하고 $\mathrm{\Omega }=[0,2\pi )$, $\mathcal{F}=\mathcal{R}\cap [0,2\pi )$⁶, $P([0,x))=\frac{x}{2\pi }$라고 하자.⁷ 확률변수 $X(\omega )=\omega$에 대한 기대값 $\mathbb{E}(X)$를 계산하여 보자.

⁶ $\mathcal{R}\cap [0,2\pi ):=\{B\cap [0,2\pi ):B\in \mathcal{R}\}$

⁷ 이렇게 정의해도 되는 이유는 카라테오도리 확장정리덕분

(풀이)

아래와 같이 계산할 수 있다. (고등학교 수준)

$$\mathbb{E}(X)={\int }_0^{2\pi }x\frac{1}{2\pi }dx$$

이는 아래와 같이 변형할 수 있다.

1. $\mathbb{E}(X)={\int }_0^{2\pi }x{f}_X(x)dx$, where $f_X(x)=\frac{1}{2\pi }$.
2. $\mathbb{E}(X)={\int }_{\mathbb{R}}x{f}_{X}d\lambda$.
3. $\mathbb{E}(X)={\int }_{\mathbb{R}}x\frac{d{\mu }_X}{d\lambda }d\lambda$.
4. $\mathbb{E}(X)={\int }_{\mathbb{R}}xd{\mu }_X:={\int }_{\mathbb{R}}xd{F}_X$.

혹은 아래와 같이 변형할 수 있다.

1. $\mathbb{E}(X)={\int }_{\mathbb{R}}xd{\mu }_X={\int }_{[0,2\pi )}xd{\mu }_X(x)$
2. $\mathbb{E}(X)={\int }_{\mathrm{\Omega }}X(\omega )dP(\omega )=\int XdP$

위의 1 $\to$ 2, 즉 ${\int }_{[0,2\pi )}xd{\mu }_X(x)={\int }_{\mathrm{\Omega }}XdP$ 에 대한 이해의 추가설명 (강의에 너무 대충 설명해서..)

이 예제에서는 $X:[0,2\pi )\to [0,2\pi )$가 항등함수이므로,

$${\mu }_X:=P\circ X^{-1}=P$$

가 성립하는 특이한 경우이다. 이는 이해를 용이하게 위해서 이 예제에서 특별하게 설정된 상황이다. 하지만 이 성질은 꼭 $X$가 항등함수가 아닐지라도 일반적으로 성립한다.

- 정의: $X$가 확률공간 $(\mathrm{\Omega },\mathcal{F},P)$에서 정의된 확률변수라고 할때 그 기대값 $\mathbb{E}(X)$는 아래와 같이 정의한다.

$$\mathbb{E}(X)={\int }_{\mathrm{\Omega }}XdP$$

여기에서 $X$는 이산형, 연속형, 혼합형등 어떠한 형태의 확률변수라도 상관없다. 위의 기대값은 항상 아래와 같이 표현할 수 있다.

$$\mathbb{E}(X)={\int }_{\mathbb{R}}xd{\mu }_X:={\int }_{\mathbb{R}}xd{F}_X$$

만약 $F_X$가 절대연속인 경우 (즉 ${\mu }_X<<\lambda$ 인 경우) 아래와 같이 표현가능하다.

$$\mathbb{E}(X)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_X(x)dx$$

만약에 $F_X$가 countable한 jump로만 구성되어 있다면 ${\mu }_X$는 jump point에서 support로 가지는 수정된 카운팅메져 ${\mathrm{\#}}_X$에 대하여 절대연속이 되며 (즉 ${\mu }_X<<{\mathrm{\#}}_X$) 이 경우 기대값은 아래와 같이 표현가능하다.

$$\mathbb{E}(X)=\sum _{x}x{p}_X(x)$$

여기에서 $f_X(x)$와 $p_X(x)$는 각각 확률변수 $X$의 pdf, pmf가 된다. (혹은 $\lambda$와 ${\mathrm{\#}}_X$에 대한 라돈니코딤 도함수)

- 요약

• 학부수준: 연속형확률변수의 기대값과 이산형확률변수의 기대값이 서로 다르게 정의된다.
• 대학원수준: 두 경우 모두 $\mathbb{E}(X)=\int XdP$로 정의된다.

Appendix

- 생존분석 강의노트

- WGAN

- 시계열교재